RoboArchitect：自动化设计带持久记忆的机器人 Agent
🧭 Agent 自动化设计与持久记忆
Stanford University
用 coding model 自动迭代优化机器人 agent harness，无需更新策略权重，大幅提升跨场景成功率
📌 工作参考价值（4 点）
- 借鉴「冻结模型 + 外围 harness 优化」范式：在推荐/搜索场景中，可以把已训练好的排序模型或 LLM 当成 frozen policy，通过代码化的决策逻辑（何时调用模型、如何融合特征、如何处理输出）进行自动迭代优化，避免频繁重训模型，尤其适合快速适配新业务场景或新数据分布。
- 持久记忆机制可迁移到对话式推荐 Agent：论文中 harness 会积累成功经验（如有效抓取深度）供后续决策参考。在电商导购或客服 Agent 中，可以设计类似的 memory 结构，记录用户偏好、历史成功推荐策略或交互模式，作为额外上下文注入下一次决策，提升个性化与连贯性。
- 失败诊断 + 代码修改的闭环值得复用：用 LLM 分析 rollout 失败原因并生成改进代码，这种「诊断-修订-评估」循环可以用于自动优化推荐系统外围逻辑，例如召回过滤规则、曝光策略、重排规则等，用代码表示策略比调权重更灵活且可解释。
- 工程实现上，harness 与 policy 解耦便于快速实验：将模型调用封装在可控代码层，可以轻量地切换不同底层模型或策略，同时通过 held-out 场景评估泛化，适合在电商推荐中构建可插拔的 Agent 框架。
GPDPO：基于组 Pareto 支配策略优化的多奖励冲突学习
🧭 多奖励 RL 冲突过滤与 Pareto 偏好恢复 ★ 深度解读
Sun Yat-sen University · University of Trento
从被冲突过滤的 rollout 中利用 Pareto 支配恢复成对偏好监督，零额外采样提升多奖励 LLM 对齐
📌 工作参考价值（4 点）
- 多目标 RL 场景（相关性/转化/格式/延迟等）若采用 GD2PO 式冲突过滤，不要直接丢弃被过滤 rollout；用 Pareto 支配在 filtered 与组内其他响应间构造偏好对，加入辅助 loss。只复用已有 reward 与 log-prob，无需额外采样。
- 冲突 gate 对 group 大小和组成敏感：论文中组大小 4→64 有 16%–27% 标签翻转；在线采样 batch 不稳定时，优先考虑 pairwise 比较或增大组内响应数来降低优势标签噪声。
- 使用标准 Pareto 而非 strict domination，允许单维 reward tie，能多产生约 88% 的比较边；对二值/离散 reward（如格式合规、广告合规）尤其关键，可缓解辅助信号稀疏。
- 辅助偏好 loss 中对 retained 端点做 stop gradient，只让 filtered 侧更新；若两端都 filtered 再同时更新，避免干扰已稳定样本，这是稳定多奖励 RL 的重要工程 trick。
一种动作多种表达：面向长程智能体的效应边际策略优化
🧭 Agent 强化学习策略优化 ★ 深度解读
Tianjin University · Fudan University · Renmin University of China
提出 EMPO，对执行等价响应共享长度归一化策略比率，消除信用-更新错位，提升 GRPO/GiGPO 长程任务效果和效率
📌 工作参考价值（4 点）
- 在结构化动作的 Agent 训练里（工具调用、搜索词改写、推荐解释生成），可以把执行等价但文本多样的响应分组成 effect cell，共享长度归一化的 likelihood ratio，减少文本措辞差异对策略梯度更新的干扰；GRPO/GiGPO 可直接加这个 ratio sharing，无需额外 critic/rollout。
- 长度归一化要保留：跨不同生成长度的响应直接聚合 full-sequence ratio 会让长响应主导 shared ratio；用 exp(1/T Σ log r_t) 能校准 token 级尺度和 PPO clip。
- 与 credit assignment 解耦：EMPO 只用原始 advantage，不在 advantage 侧做聚合，方便叠加 SALT/GraphGPO 等更精细 credit estimator；clip 下 ratio-sharing 比 advantage-aggregation 更稳，WebShop GiGPO 提升更明显。
- 若线上动作空间是自然语言 query/推荐文案，需要先有 canonical effect parser；无结构化 parser 时 coverage 会低，建议先从可枚举 action 的 agent 场景验证。
函数空间时序自蒸馏策略优化
🧭 强化学习策略优化与自蒸馏
Indian Institute of Technology Kanpur
提出FSPO单策略框架，以历史分布为固定时序目标并引入特权分歧校正，实现稳定高效的策略优化
📌 工作参考价值（4 点）
- 在训练LLM-based推荐Agent或对话策略时，可采用“历史分布作为固定时序目标”的思路，不维护独立teacher模型，减少显存（论文中峰值从70GB降至56GB），适合资源受限的迭代训练。
- “特权分歧校正”可用来抑制模型生成路径中局部过高的token概率，防止在稀疏奖励下过早收敛到次优回复，类似推荐系统中对高置信度但低转化动作的惩罚。
- “可靠性自适应接地”策略：当模型自生成证据多次失败时自动加强外部参考监督（如规则、知识库），可迁移到电商Agent的工具调用或商品推荐解释中，提高事实准确性。
- “质量与覆盖感知记忆”只保留验证过的行为并改善特权演示，可用于构建在线学习中的经验回放池，优先存储高奖励且多样性的轨迹，优化长尾场景。
任务导出评分细则，证据得出判断：工具增强的逐点 Rubric 奖励模型
🧭 LLM 奖励模型与 Rubric 评估
University of Tennessee · University at Albany
提出 ReVeR，从指令本身推导评分细则并用工具增强逐点评分，通过标签盲蒸馏训练，超越 pairwise rubric RM
📌 工作参考价值（4 点）
- 从指令本身推导评分细则，避免响应偏置：在电商推荐/Agent 评测中，构建 reward 或评估模型时，不要仅从已有候选回答归纳准则，先从任务指令或用户需求出发生成硬规则和分级原则，提升评估的泛化性与公平性。
- 工具增强判官提升机械约束处理能力：对于需要精确标量、结构化约束或事实核验的推荐文案、搜索改写、Agent 动作评估，让 judge 主动调用工具（如代码执行、数据库查询）从证据得出判断，而非单纯阅读，可显著提高指令遵循类指标。
- 标签盲蒸馏降低数据成本：用偏好标签仅过滤教师模型输出，生成大量 rubric-reasoning 与 judging 轨迹，可复用到需要大量过程监督数据的奖励模型训练中，适合资源有限的业务场景。
- 偏好准确率与下游策略效用不必然一致：部署奖励模型时不要只盯偏好准确率，需联合下游生成策略的线上指标和 rubric fidelity 联合验证，尤其在 RL 微调后可能出现“高分低质”脱节。
当 KL 正则化在群体策略优化中失灵时
🧭 RLHF/GRPO 训练稳定性优化
Alibaba Group
系统分析 GRPO 中参考 KL 与奖励交互的七种失效模式，提出条件 KL 标定组内奖励系数的 ZCPO
📌 工作参考价值（4 点）
- 在电商/广告/Agent 场景用 GRPO 类方法做 LLM 策略优化时，若显式 reference KL 导致奖励收敛慢或指标波动，可尝试去掉 KL 项或改用条件 KL 只用在校准组内奖励系数，而非独立正则项。
- 对于文案生成、搜索词推荐等变长输出任务，注意 KL 会随 response length 增长且可能集中在少数 token，造成长度偏置；可考虑 per-token 或条件归一化，避免长文本被过度惩罚。
- 当组内样本 reward 相同或梯度取消时，独立 KL 梯度不会完全抵消，仍会推动策略漂移；可在组内 reward 方差接近 0 时关闭 KL 更新，或采用 ZCPO 式相对漂移标定。
- 将 KL 估计直接加入 reward 会引入采样噪声，建议分离 KL 估计与 reward 计算，并使用更稳健的组内相对校准系数。
RSI-Anything：用世界模型解锁递归自改进
🧭 世界模型驱动的递归自改进
提出基于预测世界模型的递归自改进框架，在代码、GUI、科学任务中提升成功率并降低交互成本
📌 工作参考价值（4 点）
- 可借鉴其「预测选择 + 条件自适应」思路：在电商 Agent 或推荐流程中用世界模型预筛候选 action / 训练样本，减少对昂贵外部反馈（人工标注、在线实验）的依赖。
- 将 policy 与 world model 作为配对版本管理，通过 component / compatibility check 决定是否保留更新，能防止 Agent 多模型链路中的版本漂移，适合多阶段生成式推荐管线。
- GUI 评估中平均 actions 减少 39.4%，说明世界模型引导能在保持任务完成率的同时降低交互步数，对需要控制 token / 工具调用成本的 Agent 工作流有直接迁移价值。
- 小规模但一致的提升模式：代码修复 26.3%→29.2%→31.2%，说明预测选择与模型自适应可叠加，业务上可作为低成本增量优化手段。
HuatuoGPT-3：从基础模型出发的纯RL领域自适应
🧭 RL-only 大模型领域自适应训练
The Chinese University of Hong Kong, Shenzhen · Shenzhen Research Institute of Big Data · Shenzhen Loop Area Institute · National Health Data Institute, Shenzhen
提出OnePO，以自适应目标演化和教师退休实现RL-only领域自适应，在医学上用20K样本超越SFT+RL和纯RL
📌 工作参考价值（3 点）
- 借鉴 Teacher Retirement 机制：在 RLHF/LLM 微调时，若策略模型在验证集上的奖励或质量指标已稳定超过教师/参考模型，可自动切换为纯 on-policy 采样，避免陈旧教师分布限制探索，适合推荐文案、搜索 query 扩写等生成任务。
- Adaptive Objective Evolution 中强化低概率但有信息量的 token（如商品卖点、数字、属性词），可迁移到电商文案生成或搜索增强，让模型更准确覆盖关键低频 token。
- 仅用 RL 从 base model 开始领域适应，可减少 SFT 对生成多样性的压缩，对推荐理由、对话式推荐等需要多样性的场景有参考；但工程上需要解决冷启动，可采用教师输出作为快速启动的辅助数据。
依赖感知的终端智能体策略优化
🧭 终端 Agent · 依赖感知信用分配
Southeast University · Huawei Noah's Ark Lab
提出 DepGPO，用命令间读写依赖图反向追踪，把优势分配到真正影响结果的步骤
📌 工作参考价值（4 点）
- 对多步 Agent 业务（如推荐 Agent 先检索后排序再生成文案），可以借鉴依赖图思路：记录中间工具调用的读写资源，从最终业务指标反向追踪哪些调用真正影响了结果，再做细粒度 credit assignment，减少无关步骤的梯度噪声。
- 训练 LLM Agent 时，trajectory-level advantage 会平均分配到所有 step，导致无关操作也获得信号；可以按依赖相关性重分配 advantage，只强化对最终 verifier 关注资源有贡献的 write/read 步骤，提升样本效率与训练稳定性。
- 工程实现上只需保存 execution trace 并解析命令间文件/变量读写关系，成本较低；在终端、代码或工具调用类 Agent 的 RL 训练中易于落地。
- 对电商搜索推荐中“多轮改写-召回-排序”的 Agent 链路，可以类比为命令依赖图，识别哪些改写或过滤动作对最终成交/点击有实际贡献，后续可用于诊断或弱监督信号设计。
半事实信用增强策略优化
🧭 LLM 强化学习训练 · token 级信用分配
Zhejiang University · Westlake University · Shanghai Innovation Institute · Shanghai AI Laboratory
提出 SCAPO，将半事实稳定性融入 GRPO 的 token 级信用分配，提升数学推理与 OOD 泛化
📌 工作参考价值（4 点）
- 在电商/Agent 场景用 RLVR 微调 LLM（如以是否成交/点击作为 verifiable reward）时，GRPO 会把同一 outcome advantage 平均分给所有 token，容易强化 prompt 模板、位置等伪相关；可借鉴 SCAPO，用语义不变改写构造半事实干预，计算 token 概率漂移作为稳定性分数，在早期训练中对不稳定 token 降低 advantage。
- 论文发现解码时直接抑制高 drift token 候选，无需更新权重就能提升推理准确率；这可以迁移到 LLM 排序/召回/query 改写等生成任务，对 prompt 改写或模板扰动下概率漂移大的 token 做推理时惩罚或 mask，降低线上 prompt 敏感性。
- 稳定性分数被归一化后只用于削减不稳定 token 的 advantage，不给稳定 token 额外奖励，避免 reward hacking；实际调优时可沿用这一设计，把稳定性作为正则化/掩码信号而非正奖励。
- 主要实验在数学推理，业务迁移需自行验证；但对需要强泛化、且 reward 容易受 prompt 表面特征影响的 LLM Agent 训练，SCAPO 提供了一种轻量的 token 级 credit 修正思路。
ReSPO：重塑序列策略优化以应对离线策略学习梯度饥饿
🧭 RLVR 离线策略训练优化
Department of Computer Science, University of California, Los Angeles
提出 ReSPO，用平滑两分支序列级核替换裁剪，修正重要性权重尾部梯度饥饿，加速 RLVR 训练
📌 工作参考价值（4 点）
- 若在 RLVR 训练中复用 rollout 且使用 GRPO/GSPO 时，模型难以学到低频但高奖励的长轨迹（如多步 Agent 决策、长链推荐理由生成），可替换为 ReSPO 的平滑序列级核：正分支保留低重要性权重正样本的非零梯度，负分支抑制高权重负样本，避免梯度饥饿。
- 对 LLM 生成搜索 query、广告文案或推荐解释的强化学习微调，在 reward 稀疏、正样本稀缺场景下，ReSPO 正分支能加速早期优化，比传统 clipping 更友好。
- 工程实现上，ReSPO 核是序列重要性比 W=πθ(o|q)/πold(o|q) 的函数，可与现有 GRPO/GSPO 代码低耦合替换；只需缓存 old policy 的 rollout 来计算比率，复用现有离线数据流即可。
- 论文在 dense 和 MoE Qwen3 上验证有效，对工业级大规模模型与 MoE 架构有迁移参考价值，但需注意业务 reward 信号若噪声较大，仍需配合 variance-control tilt 稳定训练。
意外的成功，重复的失败：熵引导信用分配用于LLM推理探索
🧭 RLVR token级信用分配 · 熵引导探索
KAIST · DeepAuto.ai
提出EAPO，利用策略熵与response advantage符号不对称分配token级信用，强化高熵成功、惩罚低熵失败并保留失败中的探索机会
📌 工作参考价值（4 点）
- 在电商/导购Agent的RLVR微调中，可直接利用每步生成时的策略熵作为信用分配信号，无需额外reward model或人工标注；将成功轨迹中高熵决策（如“不确定时尝试新工具/新query”）给予更强正反馈，鼓励探索新策略。
- 对失败轨迹区分“确定性错误”与“探索性失败”：低熵token（模型很自信却错，如错误价格比较结论）施加更强惩罚，快速纠正重复错误；高熵token（模型尝试不确定路径，如生成长尾query）减轻惩罚，保留未来恢复可能性。
- 若在生成式推荐/搜索query改写上做RL，可借鉴EAPO的token-level advantage redistribute：用response-level奖励按熵加权到token，避免对整条失败样本均匀惩罚，有助于维持候选多样性。
- 工程实现上，EAPO只用现有rollout信号（entropy/advantage），可轻量嵌入PPO/GRPO等在线RL流程；适合稀疏reward场景（如用户最终购买/点击），提升覆盖与多样性。
RewardVerse：细则引导的视频奖励模型策略优化
🧭 视频生成奖励建模 · Rubric 引导优化
New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences · School of Artificial Intelligence, University of Chinese Academy of Sciences · The Hong Kong University of Science and Technology · Tencent
提出动态 rubric 中间表示与两阶段 RGPO 训练，缓解视频奖励模型标量漂移，点/对偶评估达 SOTA
📌 工作参考价值（4 点）
- 若在搜索/推荐里用 LLM-as-judge 或 reward model 评估生成内容（广告文案、标题、推荐理由、短视频素材），不要把质量直接映射成单 scalar；先生成针对 query/商品类目的动态 rubric，再基于 rubric 打分，可缓解不同 prompt/类目间的分数漂移，使 RL/排序信号更稳定。
- RGPO 两阶段训练可迁移：先用一批人工/规则 seed rubrics warm up scorer 对齐人类评分，再联合微调 rubric generator 生成 query-adaptive criteria，避免直接联合训练导致 rubric 崩坏或打分不稳定。
- Self-evolving seed rubrics 类似于软知识蒸馏/增强：可让 rubric generator 在少标注下扩展评价准则；在电商类目多、标注贵场景可以用 seed rubric + 自演化减少人工规则成本。
- 该框架给奖励判断带来可解释中间表示，便于审核、错误归因和人工校准；上线 reward model 前可把它作为诊断 scalar drift 的工具。
经验驱动策略精化的自进化LLM交易智能体
🧭 Agent 自进化策略优化
KAIST · DeepAuto.ai
将Agent的system prompt视为文本参数化策略，由策略Agent基于决策轨迹和组合反馈迭代重写
📌 工作参考价值（3 点）
- 将Agent的system prompt / 工具调用策略当作可优化的“文本参数”，通过定期基于历史交互trace和业务反馈（如转化率、收益）让策略Agent重写prompt，无需微调LLM即可实现策略迭代。适用于搜索/推荐中的Agent决策流程优化。
- 借鉴其批量更新思想：在每轮更新间隔内收集决策动作和实际奖励，然后离线让策略Agent修订系统提示，再用于下一批决策。这样可形成闭环，尤其在非平稳的电商/广告环境中，定期调整信息获取和排序逻辑。
- 行为分析可作为诊断工具：通过比较旧/新策略下的动作分布（如工具调用类型、代码执行比例）和归因分析（策略改动→动作变动→回报变动），找出哪些流程调整真正有效，可迁移到推荐Agent的可解释性分析。
HazardAuditor：从可执行威胁到更安全的计算机使用智能体
🧭 智能体安全执行守卫与策略优化
Ant Group · Zhejiang University · Fudan University · Hunan Institute of Advanced Technology · Shanghai Innovation Institute
执行级安全审计框架 HazardAuditor，通过跨框架事件规范化和 GuardPO 序列级优化，显著提升计算机使用智能体安全守卫准确率
📌 工作参考价值（4 点）
- 对电商/广告 Agent（如自动选品、自动投放、智能客服）的安全监控：不要只审 prompt 和最终回复，要记录并审计运行时的浏览器/终端/文件系统事件流，用统一的 canonical event 表示跨系统行为，才能捕获多步操作组合出的恶意目标。
- GuardPO 训练技巧可直接迁移到内容安全审核、推荐理由生成、广告文案审核等生成式 guard 模型：将确定性的安全/不安全标签转化为序列级 advantage，并把 rationale 和 verdict 区域做长度归一化，避免长解释霸占梯度，让模型的决策部分真正主导优化。
- 跨框架异构 agent 的事件规范化思路可复用于多套推荐/搜索 agent 系统：定义统一的事件 schema（如 click、query、tool_call、file_write），把不同 agent 框架的执行日志转成同一格式，便于训练一个通用安全守卫模型，而不是每个系统单独维护规则。
- 执行级评估集构建方法值得借鉴：在受控沙箱中跑通 Claude Code、Codex 等不同 agent，采集真实执行轨迹作为 guard 训练数据，比静态构造的 prompt-response 对更贴近线上安全风险。
难度自适应树结构策略优化以扩展RLVR中的推理覆盖
🧭 RLVR训练策略优化 · 树搜索
Pohang University of Science and Technology (POSTECH)
提出DATPO，通过难度自适应树搜索和句子熵引导分叉提升pass@k，增强测试时缩放能力
📌 工作参考价值（4 点）
- 在对话式推荐或搜索Agent的多步决策训练中，可借鉴难度自适应采样：根据问题难度动态分配rollout深度/宽度，避免简单样本浪费算力，同时让困难样本获得更多探索机会，提升策略覆盖率。
- 树搜索结构比并行采样更利于发现正确答案，可用于训练阶段的策略探索；结合句子级熵引导分叉（而非token级）能增强语义多样性，对生成推荐理由或搜索query改写等开放式生成任务有参考价值。
- 引入sibling-diversity advantage term，显式鼓励同一父节点下不同分支的语义差异，可迁移到多臂老虎机或beam search解码中，用于生成多样化的商品文案、广告标题或推荐理由。
- 该工作主要针对数学推理，业务场景直接迁移需谨慎，但RLVR训练中通过结构化探索扩大策略覆盖的思路，对需要长程推理的Agent（如多轮商品筛选、意图澄清）有启发性。
基于可验证奖励的在线策略蒸馏
🧭 RLVR+OPD 无缝结合训练推理模型 ★ 深度解读
LeapLab, Tsinghua University · Beihang University · SMS, Peking University · NLPLab, Tsinghua University
对采样 token OPD 的 log-ratio 奖励做 ReLU 门控，使教师信号与轨迹正确性对齐，零超参结合 OPD 与 RLVR
📌 工作参考价值（4 点）
- 可直接复用的训练 trick：若业务中已有可验证奖励（点击、转化、GMV 等）和教师模型或旧版模型，可在 on-policy 蒸馏损失中只加一行 ReLU 门控——正确轨迹上 max(0, log(πT/πθ))，错误轨迹上 -max(0, log(πθ/πT))，无需额外超参或 loss 权重，即能避免教师信号与业务奖励方向冲突。
- GRPD 替换二元 reward：用 GRPO 的 group-relative advantage 替换二元正确性 sign，再做同样的 ReLU gate，可平滑引入相对优势信息；适合推荐/广告中 reward 噪声大、需要组内归一化的场景。
- 训练健康度监控指标：论文观察到 zero-gated token ratio 稳定在 40-50%，可作为训练健康的实时监控；如果该比例过高或过低，说明教师信号与业务奖励大量冲突或几乎无冲突，需要检查教师模型质量或 reward verifier。
- 架构兼容性：该方法可无缝接入现有 PPO/GRPO/DAPO 训练框架，不改变采样流程；在已有的 RL 训练脚本中实现成本低，适合快速验证。
环境正则化策略优化：用 Query-KL 解耦 LLM 训练的稳定与探索
🧭 LLM 强化学习训练稳定性优化 ★ 深度解读
AMAP, Alibaba Group · Xi’an Jiaotong University · JD.com · Beijing Normal University · National University of Singapore
提出 ERPO，将 KL 正则从输出侧移到输入 query 分布侧，在保持探索的同时控制训练环境漂移
📌 工作参考价值（4 点）
- 在生成式推荐/query 改写等 LLM RL 训练中，可尝试用 Query-KL 替代或补充 Policy-KL：约束模型对输入 prompt 的似然漂移，而不是限制输出分布，从而保留输出空间探索，缓解长程训练崩溃。
- 工程实现低成本：用 pre-RL 参考模型预计算并缓存训练集中每个 query 的 log-likelihood，训练时直接复用当前 policy 的前向结果计算 Query-KL；无需额外 forward pass，可直接插入现有 GRPO/PPO/RLOO 框架。
- 对每个 query 按参考模型下的似然做加权（低概率 query 降权），可降低梯度方差、减少对长尾/低质 prompt 的过拟合，适合电商/搜索中 user query 分布不均的场景。
- 用多温度采样（如 0.1~1.5）评估 RL 训练后的模型稳定性，能暴露高温解码下的性能退化，比单一温度更全面；可作为生成式模型上线前的稳定性测试手段。
UP：无界正优势非对称优化破解LLM强化学习的探索—稳定性困境
🧭 强化学习训练优化·无界探索 ★ 深度解读
ByteDance Seed · Michigan State University
通过stop-gradient自锚定比率取代重要性采样，对正向优势释放无界梯度以最大化探索，同时保留负向裁剪加固训练稳定性
📌 工作参考价值（4 点）
- 非对称正负处理：在业务RL训练（如对话策略、推荐排序）中，可对正确/正向动作去除裁剪，使用自锚定梯度释放探索；对错误动作保留裁剪约束，防止模型退化。
- stop-gradient 即插即用：将 π_θ / sg(π_θ) 作为无界更新核心，实现简单，可直接嵌入现有 PPO/GRPO 代码，无需改动 critic 或奖励函数。
- 探索容量监控：通过追踪策略熵和 KL 散度，诊断是否出现探索崩塌，借鉴 UP 的熵上升趋势判断训练是否健康。
- 通用性证明：该方法已验证对 Dense/MoE/多模态模型均有效，推荐系统或 Agent 中更换 backbone 时可放心复用，无需重新设计。
LLM 强化学习的真实目标：面向推理策略的单调改进
🧭 LLM RL 训练-推理对齐 ★ 深度解读
Tianjin University · Alibaba
提出 MIPI 原则与两步框架 MIPU，在训练-推理不匹配下直接优化推理策略，实现稳定高效 RL 训练
📌 工作参考价值（4 点）
- 在电商/搜索推荐系统的 LLM 后训练中，训练引擎与推理引擎不一致（如量化部署）会导致训练策略改善 ≠ 推理策略改善，MIPU 的两步机制（采样器参考更新 + 推理间隙验收）可直接嵌入 GRPO 流程，提升稳定性
- Step 1 的 TIS 式截断重要性权重可替代标准 GRPO 裁剪，分离历史不匹配与当前更新，降低梯度方差，适用于任何基于采样优势的 RL 微调场景
- Step 2 使用验证集上的后更新间隙代理 bTpost 作为接受/回滚信号，可在线上 AB 测试前筛选有害的同步模型，避免部署退化模型，尤其适合 Agent 系统中的多步决策或量化推理
- 动态接受阈值策略（起步宽、逐渐收紧）平衡早期探索与后期保护，在推荐模型持续学习时值得借鉴，防止过早收敛或训练宕机
N-GRPO：嵌入级近邻混合增强策略优化
🧭 LLM 训练 · 策略优化 · 探索增强
Zhejiang University · Ant Group
通过语义近邻混合同一 token 的嵌入，在 GRPO 中注入多样性且保持语义一致，提升数学推理
📌 工作参考价值（4 点）
- RL 训练中的探索策略：在 LLM 微调（如推荐理由生成、对话策略、Agent 行动规划）时，使用语义近邻混合替代 token 级采样或随机噪声，可生成更多样但语义连贯的轨迹，缓解模式坍塌。
- 嵌入级扰动技巧：直接操作 token 嵌入而非离散 token，通过 k 近邻插值在连续空间内注入多样性，可迁移至生成式推荐中 Semantic ID 解码时的探索，或对话系统中多样性回复生成。
- 训练稳定性与效率：该方法避免了完全随机的嵌入扰动带来的语义崩溃，训练过程更稳定；工程实现上需预先构建语义近邻索引（如使用 FAISS），推理阶段可快速查表。
- 泛化能力：在分布外任务上也有效，适合电商场景中多变的商品描述和 query 改写，可作为后训练探索的即插即用模块。
滞后策略优化（HPO）：稀疏奖励下稳定高效的GRPO训练改进
🧭 强化学习 · GRPO 优化 ★ 深度解读
Paris Research Center, Huawei Technologies · Huawei Technologies, China
通过非对称抑制负优势更新并改用均值长度归一化，缓解 GRPO 在稀疏奖励下的负优势主导与长度偏置，自适应权重免去手动调参
📌 工作参考价值（4 点）
- 在稀疏奖励（如早期 Agent 任务、低资源推荐对话）下，GRPO 会因大量失败样本的负优势更新主导训练，HPO 通过给负优势更新乘上小于 1 的权重来抑制负面信号，可简单集成到现有 GRPO/PPO 管线
- 用 batch 内平均长度替代逐响应长度归一化，消除“短正确回答权重过高、长错误回答惩罚不足”的长度偏置，更适合生成长度动态变化的推荐文案、多步 Agent 推理等场景
- A-HPO 根据 batch 内正/负优势样本比例自动计算阻尼系数 α，无需针对不同任务或训练阶段手动调 ❧ 唯一超参数，便于快速在新业务场景落地
- 方法几乎无额外计算开销，只需统计正负优势数量并做一次裁剪，可作为 GRPO 训练的标准增强件，用于电商对话推荐、生成式推荐评估等 RLHF 微调流程
基于专家混合知识图谱检索增强的多智能体 LLM 推荐
🧭 多智能体 KG-RAG 推荐 · 查询感知检索与对齐优化 ★ 深度解读
The Hong Kong Polytechnic University · City University of Hong Kong · National University of Singapore
提出多智能体框架 MixRAGRec，通过查询感知的多粒度 KG 检索与联合优化，实现高效知识增强推荐
📌 工作参考价值（4 点）
- 查询感知的多粒度检索：根据用户查询复杂程度动态选择 KG 检索粒度（无检索/三元组/子图/连通图），避免简单查询过度检索、复杂查询检索不足，平衡成本与效果。电商搜索中可借鉴类似 MoE 路由，针对不同意图（属性筛选 vs. 宽泛需求）切换知识源。
- 结构化知识对齐 Agent：用专门的小型 LLM 将图结构知识转为自然语言摘要，减少噪声、保留推荐相关结构信息。在商品知识图谱场景下，可先用模板初转再让 Agent 精炼，作为 LLM 上下文注入。
- 多智能体联合优化（MMAPO）：使用共享奖励函数（推荐准确性 + 边际信息增益）并通过 GAE 估计优势，实现检索决策与内容生成的端到端训练。此框架可推广到需要协调离散选择（检索策略/API 调用）与连续生成（文案/推荐列表）的 Agent 系统。
- 对比偏好学习与硬负挖掘：在推荐模型中引入对比损失，自动挖掘困难负样本，能有效区分高度相似的候选物品。该方法可直接用于商品推荐排名模型的 fine-tune，提升 Top-K 精度。
面向可持续增长：电商搜索的多价值感知检索框架
🧭 生成式推荐 · 冷启动与长期生态价值 ★ 深度解读
Taobao & Tmall Group of Alibaba
提出兼顾即时转化与新商品长期增长潜力的多价值感知生成式检索框架，在淘宝实现新商品GMV提升5.3%
📌 工作参考价值（4 点）
- 长短期价值解耦的奖励设计：通过 ItemLTV 反事实预测新商品的“增量交易价值”，将长期潜力量化为可优化信号，可直接迁移到电商推荐/检索的重排或混排阶段，作为长期收益的辅助目标。
- 多价值对齐训练范式 (MoPO)：将搜索漏斗（曝光→点击→购买）与 ItemLTV 分数统一为加权奖励，并用 clipped importance weight 缓解头部偏差，可复用到多目标召回模型，自动探索高潜力长尾商品。
- 生成式检索 + Semantic ID 的冷启动方案：利用 RQ-VAE 生成三层语义ID，并在解码时使用 trie 约束保证合法性，可借鉴到品类多、新品频出的电商场景，避免 ID 冷启动问题。
- 线上 A/B 测试设计：结合用户侧（即时效率）和物品侧（长期增长）分桶实验，提供了一套评估长期生态价值的方法论，对业务中衡量新商品扶持策略的真实效果很有借鉴价值。